Hội nghị năm 1919 của Hội đồng Nghiên cứu Quốc tế tại Bruxelles, Bỉ đã đặt nền móng cho quyết định thành lập IMU. Đại hội toán học quốc tế năm 1920 tại Strasbourg, Pháp đã chính thức thành lập IMU ngày 20 tháng 9.[4] Do ảnh hưởng biến động chính trị thế chiến 2, hoạt động của hội mờ nhạt dần trong giai đoạn 1931-1936, và được coi là giải thể năm 1936.

Sau chiến tranh, hoạt động của hội chỉ bắt đầu phục hồi từ năm 1949. Ngày 10 tháng 9 năm 1951, IMU được tái lập với 10 thành viên (Áo, Đan Mạch, Pháp, Đức, Anh, Hy Lạp, Ý, Nhật Bản, Hà Lan, và Na Uy), đặt trụ sở tại Viện Hàn lâm Khoa học Đan Mạch. Trong năm 1951, 5 quốc gia tiếp theo đã tham gia: Úc, Canada, Phần Lan, Peru, và Hoa Kỳ.

Đại hội toán học đầu tiên của IMU mới diễn ra tại Rome tháng 3 năm 1952. Trên thực tế, IMU tái thành lập năm 1950 theo công ước tại New York và theo luật định thì IMU chính thức tái thành lập năm 1951.

• Kỳ họp 1932 tại Đức
• Tem kỳ họp 1966
• Năm 2002